|
|
Automated Identification of Graphical UI Elements for Robotic Quality Assurance
Válek, Lukáš ; Herout, Adam (oponent) ; Španěl, Michal (vedoucí práce)
This thesis explores the issue of graphical user interface (GUI) screen analysis using convolutional neural networks (CNN) and computer vision methods. The thesis aims to create a system which automatically identifies GUI elements based on pictogram and text information for detected components in an input image. A combination of EfficientNetB1 CNN, OCR, and traditional computer vision methods was used to develop the system. A custom dataset which contains 120k pictograms was used to train the CNN. A UI element semantic dictionary was created, which further utilises the text detected by OCR. Finally, a GUI hierarchy analysis subsystem was created to detect and semantically categorise sections in GUI. The resulting system automatically classifies detected pictograms, suggests additional text classes, and separates the GUI screen into hierarchical sections. The system achieves 81.1% UI element identification accuracy and, on average, analyses a single screen in 0.6 seconds. This system automates repetitive processes, thus decreasing needed person-hours. In the future, the system can be further developed to function as a foundation for automated exploratory testing.
|
|
|
Robotický výběr 2D objektů z kontejneru
Velen, Bohumil ; Parák, Roman (oponent) ; Matoušek, Radomil (vedoucí práce)
V předložené diplomové práci je řešena specifická problematika automatizace výroby. Konkrétně se v tomto případě jedná o výběr 2D dílu z kontejneru pomocí robotu. Práce stručně prezentuje jak široké možnosti, které jsou na trhu v tomto ohledu nabízeny, tak konkrétní sestavení a naprogramování robota, který dokáže identifikovat díl, uchopit ho a manipulovat s ním tak, aby se dostal do požadované pozice. V práci jsou prezentovány a dokumentovány výsledky identifikace a manipulace s několika 2D díly. Tyto experimenty prokázaly účinnost řešení a praktickou výkonnost užitého systému strojového vidění a kolaborativního robotu ABB YuMi. Tímto způsobem byla rovněž ukázána cesta k řešení obdobných úloh manipulace v dalších možných průmyslových aplikacích.
|
|
|
Sledování včel na vstupu včelího úlu
NOVOTNÝ, Petr
Hlavním cílem práce je navrhnutí a zprovoznění kamerového systému, pro inteligentní včelí úl umístěny na Experimentální a výukové včelnici Biologického centra AV ČR, v. v. i. v areálu Dendrologické zahrady na Branišovské ulici č. 31 v Č. Budějovicích a vytvoření programového vybavení pro sledování, spočtení a prostorovou identifikaci včel, na vstupu včelího úlu. Systém se bude skládat z kamer připojených k Raspberry Pi, kde dojde ke zpracování snímku pomocí metod zpracování obrazu. Získaná data budou odeslány na server a uložena do databáze. Část získaných výsledků bude zobrazena pomocí vizualizačního nástroje Grafana.
|
|
|
Automated Identification of Graphical UI Elements for Robotic Quality Assurance
Válek, Lukáš ; Herout, Adam (oponent) ; Španěl, Michal (vedoucí práce)
This thesis explores the issue of graphical user interface (GUI) screen analysis using convolutional neural networks (CNN) and computer vision methods. The thesis aims to create a system which automatically identifies GUI elements based on pictogram and text information for detected components in an input image. A combination of EfficientNetB1 CNN, OCR, and traditional computer vision methods was used to develop the system. A custom dataset which contains 120k pictograms was used to train the CNN. A UI element semantic dictionary was created, which further utilises the text detected by OCR. Finally, a GUI hierarchy analysis subsystem was created to detect and semantically categorise sections in GUI. The resulting system automatically classifies detected pictograms, suggests additional text classes, and separates the GUI screen into hierarchical sections. The system achieves 81.1% UI element identification accuracy and, on average, analyses a single screen in 0.6 seconds. This system automates repetitive processes, thus decreasing needed person-hours. In the future, the system can be further developed to function as a foundation for automated exploratory testing.
|
|
|
Identifikace objektů v obraze se zaměřením na aplikace v dopravě
HEJPLÍK, Daniel
Bakalářská práce se skládá ze dvou částí, teoretické a praktické. Teoretická část práce se zabývá zkoumáním a porovnáním algoritmů a principů využívaných pro rozpoznávání objektů v digitálním obraze. Výsledkem je vyhodnocení jejich vhodnosti pro využití v dopravě. Hlavním kritériem hodnocení je rychlost jednotlivých metod a spolehlivost identifikace objektů. Praktická část bude zaměřena na vytvoření konkrétního softwarového nástroje v jazyce Java, založeném na rozpoznávání objektů s využitím známých algoritmů, především knihovny OpenCV. Program bude obsahovat vlastní grafické rozhraní. Součástí výsledku budou dokumentace pro administrátory a koncové uživatele.
|
host ::
RSS.